Hur "förstår" datorer mänskligt språk?

Varför språk kan behandlas som data

Utvecklingen inom maskininlärda språkmodeller har exploderat de senaste åren. Vi använder tekniken dagligen, men få vet hur den faktiskt fungerar. Språket är vårt sätt att dela tankar och tack vare tekniska framsteg kan datorer idag hantera det på en nivå som känns nästan mänsklig.

Ökad beräkningskraft i kombination med stora datamängder och förbättrade algoritmer har möjliggjort analys av enorma textmängder i stor skala. Det är denna skalbara databehandling som ligger till grund för moderna storspråksmodeller.

Syftet med denna artikel är att förklara hur en dator kan bearbeta språk, trots att den saknar mänskligt medvetande. Genom att titta på utvecklingen från enkla metoder till dagens avancerade teknik, förklarar vi hur datorn använder beräkningar för att spegla vårt sätt att kommunicera.

Natural Language Processing

Natural Language Processing (NLP) är ett område som kombinerar datavetenskap, AI och språkvetenskap. Målet är att låta datorer analysera, tolka och generera svar på mänskligt språk.

Tekniken ligger till grund för tjänster vi använder varje dag som maskinöversättning, röststyrning och virtuella assistenter. Den används även för att sammanfatta texter och förbättra informationssökning.

Oavsett användningsområde är principen densamma då språket måste omvandlas till en form som datorn kan räkna på.

Från text till vektorer

För att en dator ska kunna bearbeta text måste den först brytas ner i mindre beståndsdelar som kallas tokens.

En token kan motsvara ett helt ord men även en del av ett ord eller ett enskilt tecken. I moderna språkmodeller delas ord ofta upp i mindre bitar för att modellen ska kunna hantera ovanliga ord och böjningar utan att ordboken blir ohanterligt stor.

Exempelvis, som ett rent pedagogiskt exempel, kan man tänka sig att ordet förståelse delas upp i delarna för, stå och else. Denna uppdelning speglar dock inte hur moderna språkmodeller faktiskt tokeniserar text. I praktiken sker uppdelningen utan hänsyn till språklig betydelse eller grammatik och är i stället optimerad för effektiv beräkning.

Varje token ersätts istället av ett unikt heltal som pekar på en specifik plats i modellens ordbok. Det innebär att övergången från mänskligt språk till matematik sker i flera steg där text blir till tokens som sedan omvandlas till sifferkoder. Dessa sifferkoder mappas slutligen till en numerisk vektor som kallas embedding.

Om vi tar ordet "Hej" kan det omvandlas till ett ID med värdet 4312 vilket i sin tur kopplas till en lång lista med decimaltal. Det är dessa tal som är modellens faktiska indata.

Tekniken med embeddings gör att tokens som används i liknande sammanhang får vektorer som ligger nära varandra matematiskt. En enskild token har i sig en begränsad och ofullständig betydelse som först blir tydlig i sitt sammanhang. Mening uppstår först när de kombineras i sekvenser och modellen lär sig de statistiska sambanden mellan dem.

Varje token mappas till en embedding-vektor som tränas tillsammans med modellen och fungerar som utgångspunkt för vidare kontextberoende beräkningar under inferens.

Exempelvis innebär detta att ordet fil utgår från samma embedding, men får olika kontextualiserade interna representationer i modellens senare lager beroende på om sammanhanget handlar om en datafil eller en syrlig mjölkprodukt.

Djupa neurala nätverk och NLP

Deep Learning innebär att man tränar neurala nätverk med många lager för att hitta komplexa strukturer i data. Historiskt låg begränsningen främst i träningsmetoder och beräkningskostnad, inte i modellernas uttrycksförmåga. När tekniken började appliceras på språkteknologi skedde ett tydligt skifte.

Utvecklingen gick från system som styrdes av handskrivna regler till modeller som lär sig språkets uppbyggnad direkt från data. Det har lett till kraftiga förbättringar inom områden som maskinöversättning och textsammanfattning där datorn nu kan tolka sammanhang på ett betydligt bättre sätt.

Parametrar och träning av modellen

Ett neuralt nätverk är uppbyggt av ett enormt antal parametrar som även kallas vikter. Dessa justeras löpande under träningen för att minska antalet fel och optimera modellens svar.

Inom språkteknologi tränas modellerna vanligtvis på att förutsäga nästa token i en sekvens eller att fylla i ord som saknas. Genom den processen lär sig modellen språkets statistiska mönster istället för att följa explicita grammatiska regler. Det handlar alltså om sannolikhet snarare än regelstyrd inlärning.

Tiden före transformern

Innan den moderna tekniken tog över dominerades fältet av äldre typer av neurala nätverk som kallas RNN och LSTM. Dessa modeller var designade för att läsa text sekventiellt vilket innebär att de bearbetade ett ord i taget i en bestämd ordning.

Detta arbetssätt skapade dock tekniska problem för datorn. Modellerna hade svårt att minnas information från början av en lång mening när de väl kom till slutet vilket gjorde att sammanhanget ofta gick förlorat. De var dessutom svåra att effektivisera eftersom beräkningarna var låsta i en tidsföljd och inte kunde göras parallellt.

Artikeln "Attention Is All You Need"

Det stora genombrottet kom 2017 när forskare vid Google publicerade artikeln "Attention Is All You Need".

I denna introducerades transformerarkitekturen, vilket innebar ett fundamentalt skifte i hur datorer hanterar språk. Istället för att läsa texten bit för bit, som tidigare modeller gjorde, bearbetas nu hela sekvensen samtidigt.

Med hjälp av så kallade uppmärksamhetsmekanismer (self-attention) kan modellen avgöra vilka delar av texten som är viktigast för sammanhanget, oavsett var de befinner sig i meningen. Transformern ersatte sekventiell bearbetning med parallell beräkning, vilket tillsammans med kraftfullare hårdvara möjliggjorde träning av betydligt större modeller och bättre utnyttjande av långa beroenden i text.

Genombrottet efter "Attention Is All You Need"

Kort efter publiceringen omsattes teorin i praktik år 2018 genom modellen BERT (Bidirectional Encoder Representations from Transformers). Det var här transformerarkitekturen tydligt visade sin potential.

BERT tränades med en metod där vissa ord i texten maskeras och modellens uppgift är att förutsäga dessa ord baserat på resten av meningen. Eftersom modellen samtidigt använder både orden före och efter det maskerade ordet kan den bygga representationer som tar hänsyn till hela sammanhanget.

Detta gjorde BERT särskilt stark på att analysera och förstå språkliga nyanser. Även om BERT främst var byggd för språkanalys snarare än textgenerering fungerade den som ett avgörande bevis på att transformerarkitekturen fungerade i praktiken och lade grunden för senare generativa storspråksmodeller.

Storspråksmodeller

Large Language Model (LLM) representerar den senaste utvecklingen inom språkteknologi och bygger idag oftast på transformerarkitekturen men andra arkitekturer och hybridlösningar används parallellt och utvecklas aktivt. Dessa modeller består av djupa neurala nätverk med miljarder parametrar och tränas på enorma mängder textdata under lång tid.

Det som främst kännetecknar dem är den enorma skalan och det generella träningsmålet som oftast handlar om att förutsäga nästa del i en mening. Kombinationen av storlek och datamängd gör dem kapabla att generera, analysera och sammanfatta text på ett sätt som tidigare modeller inte var i närheten av.

Denna typ av modell används i flera välkända språkbaserade chattbottar, exempelvis Gemini, ChatGPT, Claude och DeepSeek.

Språkmodellens exekveringsfas

Inferens är den fas där en färdigtränad språkmodell används i praktiken. Texten som matas in tokeniseras och omvandlas till numeriska representationer som skickas genom modellens neurala lager. Modellen beräknar därefter en sannolikhetsfördelning över nästa token och väljer via sampling vilken token som ska genereras härnäst. Processen upprepas tills ett stopptecken genereras eller den maximala längden uppnås.

När modellen ska välja nästa token kan den använda olika samplingregler för hur slumpmässigt valet ska vara. Temperature styr hur förutsägbart eller varierat svaret blir. Top-k begränsar valet till de k mest sannolika alternativen medan top-p begränsar valet till de alternativ som tillsammans står för nästan all sannolikhet. Dessa inställningar påverkar hur strikt eller kreativt modellen genererar text.

Under inferens uppdateras inga vikter utan modellen använder enbart den kunskap som redan finns lagrad i dess parametrar.

Inferens kan köras lokalt på en egen dator där all data stannar i miljön eller via molnbaserade tjänster där texten skickas till en extern leverantör. Var datan hamnar beror alltså helt på var modellen körs och inte på modellen i sig.

Det är viktigt att förstå att en språkmodell i grunden är en modellartefakt bestående av tränade parametrar som lagras på disk och som vid inferens laddas in i ett exekveringsramverk som utför beräkningarna. Den är ett passivt verktyg vars parametrar är statiska och som saknar permanent lagring mellan körningar men som under inferens använder ett temporärt arbetsminne i form av ett kontextfönster.

Det är avgörande att skilja mellan språkmodellen och det system som omger den. Själva modellen är ett passivt beräkningsobjekt utan egen nätverksåtkomst, permanent minne eller möjlighet att anropa externa resurser. Funktioner som minne, nätverkskommunikation, verktygsanrop, loggning och lagring tillhandahålls av omgivande programvara och ingår inte i modellens arkitektur.

Modellens faktiska indata utgörs av numeriska vektorer, inte ord i sig. Den utför en beräkning och producerar ett svar men saknar förmåga att lagra eller återkalla information utanför det aktuella kontextfönstret. Säkerhet och dataskydd avgörs därför helt av hur modellen driftsätts, exempelvis om beräkningarna sker lokalt eller i en extern infrastruktur.

Vid användning av molntjänster ser processen annorlunda ut eftersom du då skickar din data över nätverket till en extern leverantör. I det läget är det leverantörens datorer som utför arbetet. Det är alltså inte språkmodellen i sig som utgör en risk utan det är valet att skicka datan till någon annans infrastruktur som avgör var informationen hamnar.

Potentiella risker vid användning av språkmodeller

Information som förekommit i träningsdatan kan vara statistiskt inbäddad i modellens parametrar och i vissa fall återges vid inferens. Detta innebär dock inte att modellen aktivt kan skicka data eller kommunicera över nätverket, utan att tidigare observerade mönster i datan kan reproduceras i genererade svar.

En central risk vid användning av språkmodeller är att deras utdata påverkas av hur modellen tränats, instruerats och optimerats. Detta kan leda till systematiska skevheter i de svar som genereras, särskilt när modellen används i sammanhang där värderingar, tolkningar eller prioriteringar implicit efterfrågas.

Sådana skevheter uppstår inte enbart från träningsdatan i sig, utan även från hur modellen styrs under träning och efterjustering. När en modell uttrycker något som kan uppfattas som en åsikt eller kulturell preferens är det en konsekvens av statistiska mönster i träningsdatan i kombination med träningsmål och optimeringsstrategier som avgör vilka språkliga fortsättningar som prioriteras. Modellen har därmed inte lärt sig vad som är sant, korrekt eller moraliskt riktigt, utan vilka fortsättningar som varit mest sannolika givet dess träning.

Detta innebär att olika språkmodeller kan ge olika svar på samma fråga beroende på vilken data de tränats på och hur träningen och styrningen har utformats. En modell som huvudsakligen tränats på västerländsk text kommer därför ofta att spegla de perspektiv som dominerar där, medan en modell tränad på data från andra delar av världen kan generera svar med en annan vinkling.

Sammanfattningsvis är dessa risker ett resultat av samspelet mellan träningsdata, träningsmetod och modellstyrning, snarare än av något medvetet ställningstagande från modellens sida.

Begränsningar hos LLM

Trots sin imponerande kapacitet har stora språkmodeller tydliga begränsningar då de saknar mänsklig förståelse och medvetande.

Allt de producerar är resultatet av sannolikhetsberäkningar baserade på mönster i träningsdatan och den aktuella kontexten, vilket innebär att de kan generera felaktiga svar som låter övertygande.

Modellen kan beskriva resonemang men kan inte avgöra om det är sant. Eftersom den saknar inbyggda mekanismer för faktakontroll är ett språkligt korrekt svar inte nödvändigtvis korrekt i sak.